Offline-to-Online Creative Optimization with Generative Models and Adaptive Testing
从离线到在线：用生成模型与自适应实验优化广告创意
🧭 广告创意优化与自适应实验设计 ★ 深度解读
University of Michigan · Meta
用历史A/B数据训排序模型引导创意生成，结合自适应在线实验筛选，AI最佳创意较人工最优提升45%
📌 工作参考价值（4 点）
- 历史实验数据用于生成引导：将历史 A/B 测试中的创意比较数据训练 Bradley‑Terry 排序模型，在推理时作为“批评者”指导 LLM 生成变体，而不是直接用排序模型选 Top1 部署。这种用法可迁移到电商商品标题、推送文案的批量生成与筛选。
- 候选集召回 > 单点精度：离线评价模型时，改用 Recall@k（如 Top‑30 石板对高表现创意的召回率）取代 Top1 准确率，更适应“生成→在线实验筛选”的两阶段范式。可借鉴到搜索词推荐、广告文案生成的离线评估中。
- 自适应实验降低试错成本：在线阶段采用 Thompson 采样的分批自适应实验，能快速识别强势创意并将流量从弱臂移开，相比固定均匀分配可降低约 66% 的探索遗憾。在电商/广告多臂测试预算有限时，这种批量自适应分配可直接复用。
- 生成迭代火候控制：推理时对生成候选只做一次排序再精炼即可获得最大提升，进一步迭代会过拟合到排序模型。在类似“文本梯度优化”的营销文案自动生成中，控制一轮精炼是工程上的有效经验。